跳到主要内容

SmolVLA:450M 参数超越 7B 的高效 VLA

论文:SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics(HuggingFace,2025)。SmolVLA 提的问题很直接:现有 VLA 动辄 3B–55B 参数,为什么不做一个 450M 的小模型,在 LIBERO 和 Meta-World 基准上把它们都打赢? 结果证明可以——而且还在真实消费级机械臂上达到 78.3% 成功率,比 π0(3.5B)高出 16.6 个百分点。

1. 设计动机​

π0、OpenVLA 的规模对大多数研究者和开发者是不现实的:3B 参数需要多块 GPU 训练,推断延迟对实时控制也是挑战。SmolVLA 的目标是可在单卡 GPU 上微调、可在消费级硬件上部署的 VLA,同时不牺牲任务成功率。

两个效率杠杆:

  1. 模型压缩:层跳过(Layer Skipping)+ 视觉 token 数量限制
  2. 异步推断:把感知和动作执行解耦,消除等待时间

2. 架构​

总参数约 450M(~350M VLM 主干 + ~100M 动作专家)。

VLM 主干(SmolVLM 系列):

  • 只使用 LLM 前 N=L/2N = L/2 层(层跳过),直接砍掉一半深度
  • 每帧最多 64 个视觉 token(无图像分块/Tiling),大幅压缩序列长度
  • 隐藏维度缩减为原版的 0.75×

层跳过不是截断——而是有意识地只用浅层表征。实验表明浅层特征对操作任务的低层感知和空间推理已经足够,深层特征带来的语义增益并不值那么多计算量。

动作专家(~100M,流匹配目标):

  • 交叉注意力(CA)+ 因果自注意力(SA)交替块
  • Beta 分布噪声采样
  • 每次输出 n=50n=50 步动作块(动作分块)

3. 异步推断栈​

这是 SmolVLA 最重要的工程贡献。传统同步推断:

执行动作 → 等待推断完成 → 执行下一块 → 等待...

异步推断:

执行动作块 i  ─────────────────────────────▶
同时预测动作块 i+1 ──────▶

感知和动作预测与实际执行并行运行。结果:

  • 整体任务完成速度提升约 30%
  • 固定时间内 SmolVLA 完成 19 次抓放循环 vs 同步基线的 9 次

4. 训练数据​

来自 HuggingFace Hub 的 481 个社区数据集(通过 LeRobot),约 22,900 episode,约 1060 万帧。

数据来自消费级机械臂平台(SO100、SO101、SO-ARM100,成本约 100 美元),这是 SmolVLA 民主化定位的核心:训练数据和推断硬件都不需要昂贵专业设备。

噪声标签清洗: 用 Qwen2.5-VL-3B-Instruct 自动标注和修正数据集中的噪声任务描述,统一摄像头视角格式。

训练细节:预训练 200K 步,批大小 256,AdamW(β₁=0.9,β₂=0.95),余弦 LR 从 1e-4,约 3 万 GPU 小时;微调可在单卡 GPU 上完成。

5. 实验结果​

LIBERO 仿真基准(平均成功率):

模型参数量平均成功率
OpenVLA7B76.5%
π0(预训练)3.3B86.0%
SmolVLA0.45B87.3%

Meta-World 仿真多任务:

模型平均成功率
π0(3.5B)47.9%
SmolVLA(0.45B)57.3%

真实 SO100 机械臂多任务:

模型平均成功率
ACT(80M)48.3%
π0(3.5B)61.7%
SmolVLA(0.45B)78.3%

450M 参数在三个维度都超过了 7–10× 参数量的模型。

6. 为什么小模型赢了​

几个可能的原因(论文没有系统消融,这是我自己的判断):

  • 社区数据覆盖更广:481 个来自 HuggingFace 的多样化数据集,覆盖的场景多样性可能比 π0 的内部数据集更宽
  • 层跳过的 inductive bias:浅层特征对低层操作感知是合适的 bias;深层特征对 NLP 任务有用,对精细操作不一定
  • 异步推断减少了延迟累积:同步基线在固定时间窗口内能完成的任务少,评分自然低
  • 64 token 视觉限制:强制模型学会在有限信息下做决策,类似于 ACT 里窄 predictor 更利于真正推断

7. 局限​

SmolVLA 的测试平台(SO100)是廉价单臂机械臂,任务复杂度和 π0 的双臂精细操作相差较大,直接数字对比需要谨慎。481 个社区数据集质量参差不齐,噪声清洗流程能否覆盖所有质量问题存疑。层跳过在需要深层语义理解的任务(如自然语言泛化)上是否会带来能力退化,论文没有评估。

代码、权重和全部训练数据见 huggingface/lerobot。